Ông sinh ra tại Montgomery, Alabama, Mỹ. Cha ông là Edward Cole, một mục sư. Ông có 3 anh em trai: Eddie, Ike và Freddy và em gái cùng cha khác mẹ: Joyce. Cole học piano từ rất nhỏ với giáo viên duy nhất là bà Perlina, mẹ ông, một nhạc công organ của nhà thờ. Năm ông 4 tuổi, cha mẹ ông chuyển đến sống ở phía bắc Chicago, Illinois. Cùng thời gian này, ông có buổi biểu diễn đầu tiên trước công chúng. Cole chơi piano tại nhà thờ của cha ông cho đến năm 12 tuổi.